Modelo Exploratório para Tempos de Resposta

UFPE, 26 de agosto de 2020

Motivação

(ou a falta de)

Respostas Desatentas em Avaliações Psicológicas

drawing

Respostas Desatentas em Avaliações Psicológicas

drawing

Respostas Desatentas em Avaliações Psicológicas

Possíveis causas:
- Falta de interesse no conteúdo
- Questionário é muito longo
- Anonimato reduz senso de responsabilidade
- Distrações no ambiente

drawing

Problemas Devido a Respostas Descuidadas

Dados de baixa qualidade podem levar a
- Viés em correlações, por exemplo, entre as subescalas
- Baixa confiabilidade (consistência interna)
- Mau ajuste de modelos de medição
Respostas desatentas estão por toda parte!
- A prevalência é estimada entre 5% -50% das respostas (e.g., Curran et al., 2010; Kurtz & Parish, 2001)

Inventário de Personalidade (Big Five Inventory-2)

Uma amostra de alunos de ensino médio

Os Cinco Grandes Fatores da Personalidade

drawing

Abertura: “Avoids intellectual, philosophical discussions.”

Conscienciosidade: “Is systematic, likes to keep things in order.”

Extroversão: “Is dominant, acts as a leader.”

Amabilidade: “Starts arguments with others.” (R)

Neuroticismo: “Can be tense.”

Inventário de Personalidade

Soto & John (2016)

Amostra de alunos de ensino médio (N=224)
Questionário de 60-itens do tipo Likert
Metade feminino (51%)
Itens são apresentados aleatoriamente
Dados faltantes: 8 respostas foram removidas
Correlações observadas são de acordo com a teoria de personalidade Big Five

Métodos para Detectar Respostas Desatentas

(Meade & Craig, 2012)

Métodos	Exemplo
Análise de string longa	`{1,1,1,1,1}` ou `{3,3,3,3,3}`
Item de validade	“Por favor, selecione ‘Concordo’ para este item”
Índices de ajuste \(l_z\)	estatística de ajuste de pessoa (person-fit) (Sinharay, 2015)
Tempo de resposta	Tempo total para completar a avaliação

Métodos para Detectar Respostas Desatentas

Tempo de resposta por página (Soland et al., 2019)
Modelagem mista para tempo de resposta and acuidade de resposta (Wang & Xu, 2015)
Outros tipos de dados:
- Tempos de resposta por item
- Arquivos log
  - Número de cliques por página
  - Número de caracteres por item
  - Mudança de resposta ao item
  - Ordem em que respostas foram selecionadas

Objetivos

Investigar preditores de tempo de resposta por item;
Propor modelo explanatório para tempos de resposta;
Comparar modelo explanatório com modelo puramente descritivo.

1. Preditores de Tempo de Resposta por Item

Fatores de Personalidade e Tempos de Resposta

Tempos de Resposta por Item - Abertura

Itens de Abertura & Tempo De Respostas

Abertura: I am someone who…
- O3: Is inventive, finds clever ways to do things.
- O5: Avoids intellectual, philosophical discussions. [R]
- O7: Values art and beauty.
- O6: Has little creativity. [R]

Items em Reverso & Tempo De Resposta

Abertura

Número de Characteres vs. Tempo De Resposta

2. Modelos para Tempos de Resposta

a) Descritivo

Modelos de Tempos de Resposta: Descritivo

Modelo Lognormal Simples \[log(t_{ip}) = \tau_p - \lambda_i + \epsilon_{ip} \]
- \(\tau_p\): velocidade do indivíduo \(p\)
- \(\lambda_i\): tempo requerido pelo item \(i\) \[\tau_p \sim N(0,\sigma_\tau) \text{,} \epsilon_{ip} \sim N(0, \sigma_\epsilon)\]
Efeitos estimados:
- Fixos: \(\lambda_i\), um para cada item
- Aleatórios: desvio padrão para \(\tau\) e \(\epsilon\)

2. Modelos para Tempos de Resposta

b) Explanatório

Modelo Explanatório do TRI

De Boeck & Wilson (2016)

drawing

Modelo Descritivo - Rasch \[P(Y_j = 1|\theta_p) = \frac{exp(\theta_p - \beta_j)}{1 + exp(\theta_p - \beta_j)}\]

\[\iff logit(\pi_{ip}) = \theta_p - \beta_j\]

\(\theta_p\): habilidade da pessoa \(p\)
\(\beta_j\): dificuldade do item \(j\)

Modelo Explanatório do TRI

Preditores do Item (De Boeck & Wilson, 2016)

\[logit(\pi_{ip}) = \theta_p - \beta_j \text{ (modelo Rasch)}\]

Modelo do Teste Logístico Linear (LLTM)

\[logit(\pi_{ip}) = \theta_p - \Sigma_{k=0}^K \delta_k X_{ik} \text{, } \theta_{p} \sim N(0,\sigma_\theta^2)\]

\[\beta_j = \delta_0 + \Sigma_{k=1}^K \delta_k X_{ik}\]

Efeitos estimados:
- Fixos: \(\delta_k\), um para cada preditor
- Aleatórios: desvio padrão para \(\theta\)

Modelos Explanatório com Preditores dos Itens

Modelo de Teste Lognormal Linear (LLnTM): \[log(t_{ip}) = \tau_p - \gamma_0 - \Sigma_{k=1}^K \gamma_k X_{ik} + \epsilon_{ip}\] \[\lambda_i = \gamma_0 + \Sigma_{k=1}^K \gamma_k X_{ik}\] \[\tau_p \sim N(0,\sigma_\tau) \text{, } \epsilon_{ip} \sim N(0, \sigma_\epsilon)\]
Efeitos estimados:
- Fixos: \(\gamma_k\), um para cada preditor
- Aleatórios: desvio padrão para \(\tau\) e \(\epsilon\)

Aplicação do Modelo Explanatório

Inventário de Personalidade

Modelo Descritivo: Lognormal Simples

\[log(t_{ip}) = \tau_{p} - \lambda_{i} + \epsilon_{ip} \]

Usando R e o pacote lme4 para análise, com user_id como efeito aleatório e item_name como efeito misto:

## lmer: linear mixed-effects via REML 
lme4::lmer(log_time ~ -1 + item_name + (1|user_id),
                    data = bfi_long_rev)

    Groups   Name        Variance Std.Dev.
     user_id  (Intercept) 0.2265   0.4759  
     Residual             0.5153   0.7178  
    Number of obs: 13110, groups:  user_id, 215

Efeitos aleatórios: \[ \left[\begin{array}{c} \hat{\sigma}_{\tau} \\ \hat{\sigma}_{\epsilon} \\ \end{array}\right] = \left[\begin{array}{c} .48 \\ .72 \\ \end{array}\right] \]

Modelo Descritivo: Lognormal Simples

Velocidade Estimada (\(\tau_p\))

Modelo Descritivo: Lognormal Simples

Efeitos fixos \(\hat{\lambda}_j\)

A01	1.08	C01	1.04	E01	0.87	N01	1.18	O01	1.25
A02	1.12	C02	0.97	E02	1.18	N02	1.31	O02	1.11
A03	1.31	C03	1.00	E03	1.42	N03	1.23	O03	1.27
A04	1.17	C04	1.16	E04	1.02	N04	0.97	O04	1.01
…
A12	1.02	C12	1.10	E12	0.90	N12	1.06	O12	0.94
\(\sigma_a =\) 0.11	\(\bar{\lambda}_a =\) _1.08	\(\sigma_c =\) 0.14	\(\bar{\lambda}_c =\) 1.06	\(\sigma_e =\) 0.20	\(\bar{\lambda}_e =\) 1.04	\(\sigma_n =\) 0.17	\(\bar{\lambda}_n =\) 1.08	\(\sigma_o =\) 0.15	\(\bar{\lambda}_o =\) 1.09

Modelo Descritivo Lognormal

Respostas Desatentas

##                                                                                                                                                             response_obs
## 1                          2,2,2,2,2,2,2,2,2,3,3,3,3,3,3,3,4,3,3,4,2,2,3,3,4,3,3,2,2,3,2,2,3,3,2,4,2,2,3,4,4,2,2,2,4,4,2,5,4,2,4,4,4,2,5,3,4,2,2,4,4,2,5,3,4,4,2,2,4,4,4
## 2                                          4,4,3,4,4,2,3,3,4,4,4,2,1,3,3,5,5,3,2,2,4,4,2,3,3,4,2,2,2,4,4,3,4,2,2,3,3,4,1,4,2,2,4,5,5,3,2,2,4,2,1,1,4,4,1,5,2,4,5,5,2,2,4
## 3                                      3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2
## 4                          1,1,1,1,1,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,5,5,5,5,5,5,4,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5
## 5  4,3,3,3,4,4,4,4,2,4,4,4,4,4,3,3,3,3,4,4,3,4,3,3,3,3,3,4,4,4,3,4,4,4,4,4,4,2,2,2,4,4,3,3,3,4,5,5,5,5,5,3,3,3,1,2,2,5,5,2,5,5,2,2,5,5,5,5,5,5,2,5,5,5,5,5,5,2,2,2,5,3,5
## 6                                            1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,4,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1
## 7                                        3,2,3,3,3,2,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2
## 8                                    2,2,4,4,5,5,4,1,5,4,4,2,2,1,4,4,1,5,2,5,4,2,5,4,2,1,2,4,4,5,2,4,4,5,5,5,5,4,1,4,3,5,4,5,4,4,1,1,1,1,1,4,5,5,3,3,5,5,5,5,4,1,3,5,5,3
## 9                                      4,4,5,4,5,5,1,5,4,5,1,3,3,4,2,1,2,3,4,1,2,3,4,3,1,3,4,4,3,3,4,3,2,5,3,4,4,5,5,2,5,2,5,2,2,3,2,2,1,4,4,1,5,5,5,2,3,1,2,2,2,2,2,3,3
## 10                         1,2,3,2,1,2,1,1,4,1,5,2,4,5,4,1,4,5,5,2,4,4,4,2,2,5,5,4,4,2,4,3,3,4,3,3,5,3,3,3,1,1,5,3,5,3,1,4,3,3,5,1,5,3,5,3,5,4,1,3,3,2,1,3,1,5,5,3,3,5,5
## 11                                             4,1,2,3,2,5,4,5,5,5,5,4,5,2,5,1,4,5,4,5,4,5,2,4,3,2,4,2,2,2,1,5,3,5,5,3,1,5,5,3,2,3,4,5,3,4,1,1,1,4,1,4,5,5,3,1,4,5,4,3,1
## 12                                       1,3,1,4,4,2,3,5,5,4,3,1,4,3,2,3,4,2,1,4,3,4,4,5,4,3,4,5,3,4,3,3,5,2,2,5,2,4,5,5,2,5,4,5,5,2,3,5,5,5,2,2,5,2,4,2,2,5,4,2,2,4,4,2

Modelo Descritivo Lognormal

Respostas Desatentas

##    user_id total_time   sim_obs n_clicks
## 1     1923     43.230 0.7605634       71
## 2     1741     47.337 0.8571429       63
## 3     1665     49.635 0.8769231       65
## 4     1650     54.694 0.7746479       71
## 5     1915     55.444 0.5180723       83
## 6     1652     98.412 0.9677419       62
## 7     1751    128.083 0.9375000       64
## 8     1871    611.979 0.9242424       66
## 9     1785    689.195 0.8615385       65
## 10    1699   1004.400 0.8450704       71
## 11    1696   1598.799 0.5901639       61
## 12    1772 170756.261 0.9531250       64

\(\hat{\lambda}_j\) vs. Número de Caracteres

Modelo Explanatório: Preditores do Item

\[log(t_{ip}) = \tau_p - \gamma_0 - \Sigma_{k=1}^K \gamma_k X_{ik} + \epsilon_{ip}\]

Usando R e o pacote lme4 para análise, com user_id como efeito aleatório e como efeitos fixos os preditores char_count, is_reverse e domain:

lme4::lmer(log_time ~ 1 + char_count + is_reverse + domain + (1|user_id),
                          data=bfi_long_rev)

Fixed effects:

                 Estimate Std. Error t value
(Intercept)     0.6643354  0.0436132  15.232
char_count      0.0113509  0.0007908  14.353
is_reverseTRUE  0.1331708  0.0128670  10.350
domainc        -0.0257613  0.0202618  -1.271
domaine         0.0196413  0.0206827   0.950
domainn         0.0138497  0.0202724   0.683
domaino        -0.0200226  0.0203781  -0.983

Modelo Explanatório: Preditores do Item

Correlation of Fixed Effects:

            (Intr) chr_cn i_TRUE domanc domaine domann
char_count  -0.544                                    
is_rvrsTRUE -0.097 -0.090                             
domainc     -0.231 -0.003  0.000                      
domaine     -0.337  0.201 -0.018  0.489               
domainn     -0.250  0.033 -0.003  0.500  0.496        
domaino     -0.173 -0.107  0.010  0.497  0.466   0.493

Efeitos aleatórios: \[ \left[\begin{array}{c} \hat{\sigma}_{\tau} \\ \hat{\sigma}_{\epsilon} \\ \end{array}\right] = \left[\begin{array}{c} .48 \\ .72 \\ \end{array}\right] \]

Modelo Explanatório: Preditores do Item

Velocidade (\(\hat{tau}_p_\))

Comparação entre Modelos

## Data: bfi_long_rev
## Models:
## item.explan: log_time ~ 1 + char_count + is_reverse + domain + (1 | user_id)
## descriptive: log_time ~ -1 + item_name + (1 | user_id)
##             npar   AIC   BIC logLik deviance  Chisq Df Pr(>Chisq)    
## item.explan    9 28354 28421 -14168    28336                         
## descriptive   62 28249 28711 -14063    28125 210.42 53  < 2.2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Conclusões

A modelagem do tempo de resposta é uma etapa importante para a detecção de respostas descuidadas
As propriedades do item e da pessoa podem ajudar a explicar a variabilidade no tempo de resposta no nível do item

Direções futuras

Incluir preditores para indivíduos
Realizar análise com dados simulados de simulação para avaliar o modelo e detectar respostas desatentas

Acknowlegments

Aluna de Iniciação Científica - Audrey Filonczuk
Colegas de Laboratório
- Maxwell Hong
- Teresa Ober, Ph.D.
Orientadora - Ying “Alison” Cheng

Thanks for watching!

Questions? drebouca@nd.edu Interactive slides available at dreboucas.com

Apêndice

Usando Qualtrics para Coletar Tempos de Resposta

Qualtrics only provides tempos de respostas by page
Javascript was added to each question
- Records every time a respondent choses an answer or modifies their answers
  - Time stamps: INCLUDE HERE
  - Answer choice: {1,2,3,4,5} or {1,2,4,5,6} or {2,5,8,9,10}
  - Qualtrics ID: e.g., QID64
- Output format is JSON and requires parsing in R
```
{"1":{"val":"QR~QID87~5","t":"2019-12-16T17:38:03.184Z"},
"2":{"val":"QR~QID65~28~2","t":"2019-12-16T17:38:14.369Z"}...
```